Sau khi rời khỏi nội các, Chirac muốn giữ chức lãnh đạo cánh hữu để giành chức tổng thống. Tập hợp vì nền Cộng hoà được coi là một cơ cấu bầu cử chống lại Tổng thống Giscard d'Estaing. Một cách ngược đời, Chirac được hưởng lợi từ quyết định của Giscard thành lập một văn phòng thị trưởng tại Paris, vốn đã bị đình chỉ từ thời Công xã Paris năm 1871, bởi các lãnh đạo nền Đệ tam Cộng hoà (1871–1940) sợ rằng quyền lãnh đạo Paris sẽ khiến vị thị trưởng có quá nhiều quyền lực. Năm 1977, Chirac trở thành ứng cử viên chống lại Michel d'Ornano, một người bạn thân của tổng thống, và ông đã giành thắng lợi. Với tư cách thị trưởng Paris, ảnh hưởng chính trị của Chirac tăng lên. Ông giữ chức này đến năm 1995.

Những người ủng hộ Chirac chỉ ra rằng, với tư cách thị trưởng, ông đã thực hiện các chương trình giúp đỡ người già, người tàn tật, các bà mẹ độc thân, trong khi vấn khuyến khích các doanh nghiệp ở lại Paris. Những người phản đối ông cho rằng ông đã lập ra các chính sách "nhóm khách hàng", khuyến khích các công trình văn phòng với hậu quả làm thiệt hại đến chương trình nhà ở, khiến giá thuê nhà tăng cao và làm tồi tệ hơn tình hình của công nhân.[cần dẫn nguồn]

Chirac nhiều lần đã bị nêu tên trong các vụ nghi ngờ tham nhũng xảy ra trong nhiệm kỳ thị trưởng của ông, một số vũ đã dẫn tới những cáo buộc nghiêm trọng với một số chính trị gia và trợ lý của ông. Tuy nhiên, một quyết định tư pháp gây tranh cãi năm 1999 đã trao cho Chirac sự miễn tố khi ông đang là Tổng thống Pháp. Ông từ chối chứng nhận những vụ việc đó, cho rằng nó có thể không thích hợp với các chứng năng tổng thống của ông. Những vụ điều tra liên quan tới việc điều hành toà thị sảnh Paris, số lượng nhân viên của nó đã tăng 25% từ năm 1977 tới năm 1995 (với 2000 trong số xấp xỉ 35000 người tới từ vùng Corrèze nơi Chirac giữ ghế đại biểu), cũng như sự thiếu minh bạch liên quan tới các tài khoản bỏ thầu công cộng (marchés publics) hay khoản nợ của chính quyền, đã bị cản trở bởi việc không thể chất vấn ông với tư cách tổng thống. Các điều kiện của việc tư nhân hoá mạng lưới cấp nước Paris, được Générale và Lyonnaise des Eaux mua lại với giá rất rẻ, sau đó được Jérôme Monod, một người bạn thân của Chirac, điều hành cũng bị chỉ trích. Hơn nữa. Tờ báo trào phúng Le Canard enchaîné phát hiện số tiền "chi lương thực" rất cao của thành phố Paris (€15 triệu mỗi năm theo con số của Canard), các khoản chi thuộc quản lý của Roger Romani (người được cho đã tiêu huỷ mọi hồ sơ của giai đoạn 1978–1993 trong những cuộc đốt phá ban đêm giai đoạn 1999–2000). Mỗi năm hàng nghìn người được mời tới các buổi tiếp tân tại toà thị sảnh Paris, trong khi nhiều nhân vật chính trị, truyền thông và nghệ sĩ được ở trong những căn hộ tư thuộc sở hữu của thành phố.[12]

Quyền miễn tố của Chirac chấm dứt khi ông rời nhiệm sở tháng 11 năm 2007, khi một hồ sơ sơ bộ về việc sử dụng sai mục đích quỹ công cộng được đưa ra chống lại ông.[13] Chirac được cho là cựu tổng thống Pháp đầu tiên chính thức bị đặt dưới sự điều tra tội phạm.[14]